إليهما مع الزاوية وجامع طولون إلى سنة تسع وخمسين وسبعمائة في نوبة صرغتمش عزل عن القضاء ومضافاته واستمر على الزاوية وجامع طولون فاستمر على ذلك ثمانين يوما ثم أعيد إلى القضاء وما معه عند ذهاب دولة صرغتمش فعاد مخطوبا مطلوبا واستمر يتقلق كل وقت من المنصب ويؤثر الانقطاع والعزلة ويطلب الإقالة فلا يجاب إلى شهر جمادى الأولى سنة ست وستين وسبعمائة دخل على نظام الملك الأمير الكبير يلبغا مدبر المملكة أعز الله نصرته وعزل نفسه وصمم على عدم العود واتفق له ما لم يتفق لقاض قبله من العظمة ونزل الأمير الكبير يلبغا بنفسه وهو ملك البسيطة إلى داره ودخل عليه ورجاه أن يعود فأبى واستمر على الزاوية وجامع طولون وجامع الأقمر وانفصل عن القضاء ومتعلقاته إلى أوان الحج أخبره فقير أنه رأى النبي صلى الله عليه وسلم في المنام يقول له فلان أوحشنا وذكر هو أنه رأى والده يقول في المنام الذي رآه الفقير صحيح فحج وجاور بمكة إلى جمادى الأولى توجه إلى زيارة النبي صلى الله عليه وسلم وعاد إلى مكة فأقام بها ثلاثة أيام معافى ثم مرض فاستمر به المرض عشرة أيام فتوفي في عاشر جمادى الآخرة سنة سبع وستين وسبعمائة بمكة ودفن في حادي عشر بين الفضيل بن عياض والشيخ نجم الدين الأصفهاني